Tạ thị xuất thân danh môn đương thời là Trần Quận Tạ thị (陈郡谢氏), người quận Trần, Dương Hạ (阳夏; nay là huyện Thái Khang, tỉnh Hà Nam). Ông nội bà là Tạ Bầu (謝裒), cha bà là Tạ Dịch (謝奕), đương khi ấy lãnh An Tây tướng quân, kiêm Thứ sử Dự Châu; Tạ Dịch là anh trai của Tể tướng Tạ An thời Đông Tấn, ngoài ra còn là anh họ của Thượng thư phó xạ Tạ Thượng (谢尚). Mẹ Tạ Đạo Uẩn là Nguyễn Dung (阮容), người cùng tộc với Nguyễn Tịch (阮籍) và Nguyễn Hàm (阮咸).

Trong nhà bà có bảy người anh em trai: Tạ Huyền, Tạ Ký Nô (谢寄奴), Tạ Uyên (谢渊), Tạ Tĩnh (谢靖), Tạ Hoát (谢豁), Tạ Du (谢攸), Tạ Tham Viễn (谢探远), Tạ Tham (谢康). Có ba người em gái là Tạ Đạo Vinh (谢道荣), Tạ Đạo Xán (谢道粲) và Tạ Đạo Huy (谢道辉), Tạ Đạo Uẩn là trưởng nữ.